Neste texto, partimos do pressuposto de que a integralidade da atenção é um eixo prioritário da investigação e avaliação dos serviços e sistemas de saúde, estruturados como redes assistenciais interorganizacionais que articulam dimensões clínicas, funcionais, normativas e sistêmicas em sua operacionalização, reconhecendo que nenhuma organização reúne a totalidade dos recursos e competências necessárias para a solução dos problemas de saúde de uma população, em seus diversos ciclos de vida. Em virtude da complexidade desse "sistema sem muros", que elimina as barreiras de acesso entre os diversos níveis de atenção, em resposta às necessidades de saúde nos âmbitos local e regional, julgamos oportuno compartilhar algumas "lições preliminares" aprendidas em experiências pessoais e na literatura sobre a integração de serviços, que nos parecem de interesse comum aos pesquisadores e gestores comprometidos com a sua implantação.

The premise of this paper is that comprehensive health care is a major component in the investigation and evaluation of health services and systems, structured as inter-organizational health care networks articulating clinical, functional, normative, and systemic dimensions in their operationalization and based on the understanding that no organization combines all the necessary resources and capabilities to solve the health problems of a population with its various life cycles. Given the complex nature of this "system without walls", eliminating barriers to access in the various health care levels in response to local and regional health, we take this opportunity to share a few "preliminary lessons" from our experience and from the literature on integrated health services which may interest researchers and managers concerned with the implementation of such services.

Com o objetivo de avaliar a qualidade técnico-científica do cuidado, a acessibilidade aos serviços de saúde e o grau de implantação das ações de controle da diarréia, em um município selecionado do Estado da Bahia, Brasil, realizou-se um estudo de casos múltiplos, com dois níveis de análise: as práticas e a coordenação destas. Cada óbito (três) e hospitalização (oito) por diarréia foram considerados como casos. A totalidade dos óbitos foi investigada e as hospitalizações foram selecionadas de forma intencional. Dimensões e critérios para a avaliação da qualidade técnica e para estimativa do grau de implantação das ações de controle foram derivadas do modelo teórico. As trajetórias assistenciais foram reconstituídas a partir de entrevistas e informações de prontuários médicos. Verificaram-se barreiras organizacionais relacionadas ao elevado tempo de espera para atendimento nas unidades de atenção primária; barreiras geográficas relacionadas à distância entre o serviço e o local de moradia dos usuários e barreiras financeiras decorrentes da escassez de recursos financeiros para o transporte. A qualidade do cuidado foi considerada inadequada e as ações de controle da diarréia foram classificadas como insuficientes em praticamente todas as dimensões analisadas.

In order to evaluate the issues of access and technical quality in actions to control diarrhea in a selected municipality in the State of Bahia, Brazil, a study of multiple cases was conducted with two levels of analysis: practices themselves and the coordination between them. Cases were defined as hospitalization (8) or death (3) due to diarrhea. All deaths were investigated, and hospitalizations were submitted to intentional selection. Aspects and approaches vis-à-vis technical quality evaluation and estimation of the degree of implementation in diarrhea control measures were derived from the theoretical model. Health care trajectories for diarrhea were reconstituted from interviews and patient chart data. The results identified: organizational barriers related to long waiting time at primary care units; geographic barriers, or the distance from users' place of residence to health services; and financial barriers due to shortage of financial resources for transportation. Quality of care was considered inadequate, and diarrhea control measures were classified as insufficient in practically all of the dimensions analyzed.

Neste texto, partimos do pressuposto de que a integralidade da atenção é um eixo prioritário da investigação e avaliação dos serviços e sistemas de saúde, estruturados como redes assistenciais interorganizacionais que articulam dimensões clínicas, funcionais, normativas e sistêmicas em sua operacionalização, reconhecendo que nenhuma organização reúne a totalidade dos recursos e competências necessárias para a solução dos problemas de saúde de uma população, em seus diversos ciclos de vida. Em virtude da complexidade desse "sistema sem muros", que elimina as barreiras de acesso entre os diversos níveis de atenção, em resposta às necessidades de saúde nos âmbitos local e regional, julgamos oportuno compartilhar algumas "lições preliminares" aprendidas em experiências pessoais e na literatura sobre a integração de serviços, que nos parecem de interesse comum aos pesquisadores e gestores comprometidos com a sua implantação.

The premise of this paper is that comprehensive health care is a major component in the investigation and evaluation of health services and systems, structured as inter-organizational health care networks articulating clinical, functional, normative, and systemic dimensions in their operationalization and based on the understanding that no organization combines all the necessary resources and capabilities to solve the health problems of a population with its various life cycles. Given the complex nature of this "system without walls", eliminating barriers to access in the various health care levels in response to local and regional health, we take this opportunity to share a few "preliminary lessons" from our experience and from the literature on integrated health services which may interest researchers and managers concerned with the implementation of such services.

Com o objetivo de avaliar a qualidade técnico-científica do cuidado, a acessibilidade aos serviços de saúde e o grau de implantação das ações de controle da diarréia, em um município selecionado do Estado da Bahia, Brasil, realizou-se um estudo de casos múltiplos, com dois níveis de análise: as práticas e a coordenação destas. Cada óbito (três) e hospitalização (oito) por diarréia foram considerados como casos. A totalidade dos óbitos foi investigada e as hospitalizações foram selecionadas de forma intencional. Dimensões e critérios para a avaliação da qualidade técnica e para estimativa do grau de implantação das ações de controle foram derivadas do modelo teórico. As trajetórias assistenciais foram reconstituídas a partir de entrevistas e informações de prontuários médicos. Verificaram-se barreiras organizacionais relacionadas ao elevado tempo de espera para atendimento nas unidades de atenção primária; barreiras geográficas relacionadas à distância entre o serviço e o local de moradia dos usuários e barreiras financeiras decorrentes da escassez de recursos financeiros para o transporte. A qualidade do cuidado foi considerada inadequada e as ações de controle da diarréia foram classificadas como insuficientes em praticamente todas as dimensões analisadas.

In order to evaluate the issues of access and technical quality in actions to control diarrhea in a selected municipality in the State of Bahia, Brazil, a study of multiple cases was conducted with two levels of analysis: practices themselves and the coordination between them. Cases were defined as hospitalization (8) or death (3) due to diarrhea. All deaths were investigated, and hospitalizations were submitted to intentional selection. Aspects and approaches vis-à-vis technical quality evaluation and estimation of the degree of implementation in diarrhea control measures were derived from the theoretical model. Health care trajectories for diarrhea were reconstituted from interviews and patient chart data. The results identified: organizational barriers related to long waiting time at primary care units; geographic barriers, or the distance from users' place of residence to health services; and financial barriers due to shortage of financial resources for transportation. Quality of care was considered inadequate, and diarrhea control measures were classified as insufficient in practically all of the dimensions analyzed.

Neste trabalho apresentamos o processo de validação de um instrumento para avaliar a assistência farmacêutica, por meio da análise de implantação de um programa de distribuição de medicamentos do Governo Federal. Este processo se iniciou com a elaboração de um modelo teórico, baseado na revisão da literatura, que permitiu selecionar as dimensões conceituais e os respectivos critérios que melhor representassem estes constructos. Na segunda fase procedeu-se à ponderação dos indicadores para construção dos escores de qualidade. Foram testados três modelos para a classificação do grau de implantação e sete para a determinação do escore mais adequado com duas matrizes diferentes de indicadores. O objetivo era eleger a que apresentasse a maior coerência e consistência entre o grau de implantação do programa e os efeitos estimados, aprimorando a validade concorrente dos critérios utilizados. Os diversos modelos testados e os resultados obtidos, mostram que é possível se aumentar a validade do estudo, sem alterar os dados coletados, e o esforço se justificando por uma melhor compreensão do alcance e limites das medidas e das escolhas de suas ponderações e interpretações.

This paper presents the validation process for a tool assessing basic pharmaceutical services through an analysis of the implementation of a Basic Pharmaceuticals Distribution Program by the Brazilian Federal government. The process began with the drafting of a theoretical model, based on a state-of-the-art review and allowing the selection of various conceptual dimensions and respective criteria that best represented the construct. The second step involved weighting indicators for the construction of quality scores. Three models were tested for ranking implementation levels, and seven simulations were conducted, determining the score most closely reflecting the selected indicators in two different matrices. The objective was to select the most coherent and consistent version between implementation levels and expected outcomes, while simultaneously enhancing validity of chosen criteria. Testing of the various models and the results obtained showed that augmenting the validity of the study was possible without altering data. This endeavor is justified in understanding the scope and limitations of these measurements and of the choices involved in issues concerning their weighting and interpretation.

Neste trabalho apresentamos o processo de validação de um instrumento para avaliar a assistência farmacêutica, por meio da análise de implantação de um programa de distribuição de medicamentos do Governo Federal. Este processo se iniciou com a elaboração de um modelo teórico, baseado na revisão da literatura, que permitiu selecionar as dimensões conceituais e os respectivos critérios que melhor representassem estes constructos. Na segunda fase procedeu-se à ponderação dos indicadores para construção dos escores de qualidade. Foram testados três modelos para a classificação do grau de implantação e sete para a determinação do escore mais adequado com duas matrizes diferentes de indicadores. O objetivo era eleger a que apresentasse a maior coerência e consistência entre o grau de implantação do programa e os efeitos estimados, aprimorando a validade concorrente dos critérios utilizados. Os diversos modelos testados e os resultados obtidos, mostram que é possível se aumentar a validade do estudo, sem alterar os dados coletados, e o esforço se justificando por uma melhor compreensão do alcance e limites das medidas e das escolhas de suas ponderações e interpretações.

This paper presents the validation process for a tool assessing basic pharmaceutical services through an analysis of the implementation of a Basic Pharmaceuticals Distribution Program by the Brazilian Federal government. The process began with the drafting of a theoretical model, based on a state-of-the-art review and allowing the selection of various conceptual dimensions and respective criteria that best represented the construct. The second step involved weighting indicators for the construction of quality scores. Three models were tested for ranking implementation levels, and seven simulations were conducted, determining the score most closely reflecting the selected indicators in two different matrices. The objective was to select the most coherent and consistent version between implementation levels and expected outcomes, while simultaneously enhancing validity of chosen criteria. Testing of the various models and the results obtained showed that augmenting the validity of the study was possible without altering data. This endeavor is justified in understanding the scope and limitations of these measurements and of the choices involved in issues concerning their weighting and interpretation.

Considerando a importância estratégica dos Programas de Saúde para as desejáveis mudanças preconizadas pelas reformas sanitárias em diferentes países, apresenta-se uma revisão da recente bibliografia acerca desta temática do ponto de vista da pesquisa avaliativa. Inicialmente, defende-se a pertinência da questão, na perspectiva do Sistema Único de Saúde (SUS), seguido de algumas pontuações metodológicas. A partir daí, discutem-se vantagens e limitações de algumas modalidades de estudos de eficiência. Os problemas mais comuns para medir os custo e a eficácia são ressaltados e uma abordagem interdisciplinar envolvendo a Epidemiologia e a Economia é recomendada para minimizar ou prevenir vieses. Sugere-se, então, uma classificação de prioridades para estudos de custo-efetividade no Brasil, ilustrando-a com alguns exemplos. Finalmente, salientam-se os problemas políticos implicados no uso e abuso dos resultados de uma avaliação dos Programas de Saúde.

Health program's efficiency is very important for changes suggested by Health Systems reforms. In the present paper we make a review of recent literature on this subject, from the point of view of evaluative research. We discuss some methodological considerations: concepts and concerns about the validity of measures and research designs. The advantages and constraints of four types of efficiency studies are discussed: costs minimizing, cost-benefit analysis, cost-efficacy/effectiveness analysis, and cost-utility analysis. Problems most commonly found in measuring costs and effects are addressed, and an interdisciplinary approach of Epidemiology and Economics is recommended for minimizing or preventing biases. In the third part, a set for classifying priorities in cost-effectiveness studies in Brazil is suggested, adding some practical examples. Finally, a warning is made about political problems involved in the (mis)use of evaluation results.

Considerando a importância estratégica dos Programas de Saúde para as desejáveis mudanças preconizadas pelas reformas sanitárias em diferentes países, apresenta-se uma revisão da recente bibliografia acerca desta temática do ponto de vista da pesquisa avaliativa. Inicialmente, defende-se a pertinência da questão, na perspectiva do Sistema Único de Saúde (SUS), seguido de algumas pontuações metodológicas. A partir daí, discutem-se vantagens e limitações de algumas modalidades de estudos de eficiência. Os problemas mais comuns para medir os custo e a eficácia são ressaltados e uma abordagem interdisciplinar envolvendo a Epidemiologia e a Economia é recomendada para minimizar ou prevenir vieses. Sugere-se, então, uma classificação de prioridades para estudos de custo-efetividade no Brasil, ilustrando-a com alguns exemplos. Finalmente, salientam-se os problemas políticos implicados no uso e abuso dos resultados de uma avaliação dos Programas de Saúde.

Health program's efficiency is very important for changes suggested by Health Systems reforms. In the present paper we make a review of recent literature on this subject, from the point of view of evaluative research. We discuss some methodological considerations: concepts and concerns about the validity of measures and research designs. The advantages and constraints of four types of efficiency studies are discussed: costs minimizing, cost-benefit analysis, cost-efficacy/effectiveness analysis, and cost-utility analysis. Problems most commonly found in measuring costs and effects are addressed, and an interdisciplinary approach of Epidemiology and Economics is recommended for minimizing or preventing biases. In the third part, a set for classifying priorities in cost-effectiveness studies in Brazil is suggested, adding some practical examples. Finally, a warning is made about political problems involved in the (mis)use of evaluation results.